Telegram Group & Telegram Channel
#конференция
Недавно закончилась предварительная оценка работ, поданных на ICLR 2023. Ниже статьи, которые набрали наибольшее количество баллов:

Раздел Deep Learning and representational learning (оценки 10;8;8)
Git Re-Basin: Merging Models modulo Permutation Symmetries
Действительно классная работа! Центральный вопрос: почему в нейронках SGD так хорош? Основной вывод: при оптимизации нейронок есть только одна область минимума, куда приводит SGD, если учесть симметрии нейронок. Вообще, интересно про связь симметрии и ML.
Rethinking the Expressive Power of GNNs via Graph Biconnectivity
Исследуется свойство двусвязанности графов (в статье довольно много математики из теории графов), как следствие предлагается Graphormer-GD - новая архитектура GNN, которая показала себя лучше предшественников на тестовых задачах.

Раздел Reinforcement Learning (оценки 8;8;8;10)
Emergence of Maps in the Memories of Blind Navigation Agents
Показывают, что "слепые агенты" неплохо справляются с задачами навигации. При этом неявно они всё-таки создают "карту окружения". Очень красивая идея!
DEP-RL: Embodied Exploration for Reinforcement Learning in Overactuated and Musculoskeletal Systems
Предлагают эффективный метод обучения для "скелетно-мышечных моделей". Вроде как до этого такие модели не слишком хорошо обучались...

Раздел Applications (оценки 10;8;6;10)
Revisiting the Entropy Semiring for Neural Speech Recognition
Тут смесь ML и алгебры (причём абстрактной алгебры): рассматривается полукольцо, которое возникает в задачах распознавания речи. Показано, как функции ошибки можно трактовать в терминах полуколец. Работа доведена до численных экспериментов.

Раздел Theory (оценки 8;10;10;5)
Understanding Ensemble, Knowledge Distillation and Self-Distillation in Deep Learning
Новая теория ансамблирования! По мнению авторов, первая в DL...

Раздел General Machine Learning (оценки 8;8;8)
Learning a Data-Driven Policy Network for Pre-Training Automated Feature Engineering
Автоматическая генерация признаков на основе RL. Показывают, как улучшается качество для LogReg, RF, XGBoost.
Targeted Hyperparameter Optimization with Lexicographic Preferences Over Multiple Objectives
Рассматривается многокритериальная оптимизация гиперпараметров с порядком приоритета критериев. Новый метод оптимизации опробован для Xgboost, RF и NN.

Раздел Probabilistic Methods (оценки 8;8;8)
Fast Nonlinear Vector Quantile Regression
Обобщение квантильной регрессии, написали свой GPU-солвер.
Scaling Up Probabilistic Circuits by Latent Variable Distillation
Предложена техника для применения Probabilistic Circuits на больших данных.

Раздел Optimization (оценки 8;8;8)
FedExP: Speeding up Federated Averaging via Extrapolation
Метод эффективного федеративного обучения

Раздел Social Aspects of Machine Learning (оценки 8;8;8)
Confidential-PROFITT: Confidential PROof of FaIr Training of Trees
Рассматривается проблема fair-обучения решающих деревьев. Предложенный подход не зависит от выбора тестов и не требует представления данных и модели проверяющему.

Раздел Generative models (оценки 8;8;8)
DreamFusion: Text-to-3D using 2D Diffusion
Синтез text-to-3D. При этом используются модели 2D-синтеза, не нужны 3D-данные.
👍91



tg-me.com/smalldatascience/868
Create:
Last Update:

#конференция
Недавно закончилась предварительная оценка работ, поданных на ICLR 2023. Ниже статьи, которые набрали наибольшее количество баллов:

Раздел Deep Learning and representational learning (оценки 10;8;8)
Git Re-Basin: Merging Models modulo Permutation Symmetries
Действительно классная работа! Центральный вопрос: почему в нейронках SGD так хорош? Основной вывод: при оптимизации нейронок есть только одна область минимума, куда приводит SGD, если учесть симметрии нейронок. Вообще, интересно про связь симметрии и ML.
Rethinking the Expressive Power of GNNs via Graph Biconnectivity
Исследуется свойство двусвязанности графов (в статье довольно много математики из теории графов), как следствие предлагается Graphormer-GD - новая архитектура GNN, которая показала себя лучше предшественников на тестовых задачах.

Раздел Reinforcement Learning (оценки 8;8;8;10)
Emergence of Maps in the Memories of Blind Navigation Agents
Показывают, что "слепые агенты" неплохо справляются с задачами навигации. При этом неявно они всё-таки создают "карту окружения". Очень красивая идея!
DEP-RL: Embodied Exploration for Reinforcement Learning in Overactuated and Musculoskeletal Systems
Предлагают эффективный метод обучения для "скелетно-мышечных моделей". Вроде как до этого такие модели не слишком хорошо обучались...

Раздел Applications (оценки 10;8;6;10)
Revisiting the Entropy Semiring for Neural Speech Recognition
Тут смесь ML и алгебры (причём абстрактной алгебры): рассматривается полукольцо, которое возникает в задачах распознавания речи. Показано, как функции ошибки можно трактовать в терминах полуколец. Работа доведена до численных экспериментов.

Раздел Theory (оценки 8;10;10;5)
Understanding Ensemble, Knowledge Distillation and Self-Distillation in Deep Learning
Новая теория ансамблирования! По мнению авторов, первая в DL...

Раздел General Machine Learning (оценки 8;8;8)
Learning a Data-Driven Policy Network for Pre-Training Automated Feature Engineering
Автоматическая генерация признаков на основе RL. Показывают, как улучшается качество для LogReg, RF, XGBoost.
Targeted Hyperparameter Optimization with Lexicographic Preferences Over Multiple Objectives
Рассматривается многокритериальная оптимизация гиперпараметров с порядком приоритета критериев. Новый метод оптимизации опробован для Xgboost, RF и NN.

Раздел Probabilistic Methods (оценки 8;8;8)
Fast Nonlinear Vector Quantile Regression
Обобщение квантильной регрессии, написали свой GPU-солвер.
Scaling Up Probabilistic Circuits by Latent Variable Distillation
Предложена техника для применения Probabilistic Circuits на больших данных.

Раздел Optimization (оценки 8;8;8)
FedExP: Speeding up Federated Averaging via Extrapolation
Метод эффективного федеративного обучения

Раздел Social Aspects of Machine Learning (оценки 8;8;8)
Confidential-PROFITT: Confidential PROof of FaIr Training of Trees
Рассматривается проблема fair-обучения решающих деревьев. Предложенный подход не зависит от выбора тестов и не требует представления данных и модели проверяющему.

Раздел Generative models (оценки 8;8;8)
DreamFusion: Text-to-3D using 2D Diffusion
Синтез text-to-3D. При этом используются модели 2D-синтеза, не нужны 3D-данные.

BY Small Data Science for Russian Adventurers


Warning: Undefined variable $i in /var/www/tg-me/post.php on line 283

Share with your friend now:
tg-me.com/smalldatascience/868

View MORE
Open in Telegram


Small Data Science for Russian Adventurers Telegram | DID YOU KNOW?

Date: |

Look for Channels Online

You guessed it – the internet is your friend. A good place to start looking for Telegram channels is Reddit. This is one of the biggest sites on the internet, with millions of communities, including those from Telegram.Then, you can search one of the many dedicated websites for Telegram channel searching. One of them is telegram-group.com. This website has many categories and a really simple user interface. Another great site is telegram channels.me. It has even more channels than the previous one, and an even better user experience.These are just some of the many available websites. You can look them up online if you’re not satisfied with these two. All of these sites list only public channels. If you want to join a private channel, you’ll have to ask one of its members to invite you.

Spiking bond yields driving sharp losses in tech stocks

A spike in interest rates since the start of the year has accelerated a rotation out of high-growth technology stocks and into value stocks poised to benefit from a reopening of the economy. The Nasdaq has fallen more than 10% over the past month as the Dow has soared to record highs, with a spike in the 10-year US Treasury yield acting as the main catalyst. It recently surged to a cycle high of more than 1.60% after starting the year below 1%. But according to Jim Paulsen, the Leuthold Group's chief investment strategist, rising interest rates do not represent a long-term threat to the stock market. Paulsen expects the 10-year yield to cross 2% by the end of the year. A spike in interest rates and its impact on the stock market depends on the economic backdrop, according to Paulsen. Rising interest rates amid a strengthening economy "may prove no challenge at all for stocks," Paulsen said.

Small Data Science for Russian Adventurers from us


Telegram Small Data Science for Russian Adventurers
FROM USA